Une équipe de chercheurs de l'Université de New York, du MIT et de Google a récemment proposé un cadre innovant pour résoudre les problèmes d'extrapolation du temps d'inférence dans les modèles de diffusion. Cette recherche révolutionnaire va au-delà des méthodes traditionnelles consistant simplement à augmenter le nombre d'étapes de débruitement, ouvrant ainsi de nouvelles voies pour améliorer les performances des modèles génératifs. Ce cadre repose principalement sur deux dimensions : l'utilisation d'un validateur pour fournir des commentaires et la mise en œuvre d'un algorithme pour trouver de meilleurs candidats de bruit. L'équipe de recherche a utilisé un modèle SiT-XL pré-entraîné à une résolution de 256×256 comme base, en maintenant 250 étapes de débruitement fixes

Dans le domaine de l'intelligence artificielle, le dernier modèle Infinity, issu de l'équipe technique de ByteDance, s'impose comme le nouveau leader de la génération d'images à partir de texte autorégressive grâce à ses performances exceptionnelles et à son innovation technologique. Ce nouveau modèle open source surpasse non seulement Stable Diffusion 3 en termes de qualité de génération d'images, mais présente également un avantage significatif en termes de vitesse d'inférence. L'innovation principale du modèle Infinity réside dans l'adoption d'un framework autorégressif Bitwise Token, qui prédit la résolution de niveau suivant en constituant un +1 ou un -1.

Dans le domaine de la génération d'images à partir de texte, les modèles de diffusion ont démontré des capacités exceptionnelles, mais présentent encore certaines lacunes en matière de génération d'images esthétiques. Récemment, une équipe de recherche de ByteDance et de l'Université des sciences et technologies de Chine a proposé une nouvelle technologie appelée adaptateur « Cross-Attention Value Mixing Control » (VMix), visant à améliorer la qualité des images générées tout en conservant une généralité pour divers concepts visuels. L'idée principale de l'adaptateur VMix réside dans la conception d'un contrôle conditionnel supérieur…

L'apprentissage par renforcement a connu de nombreux succès ces dernières années, mais son faible rendement d'échantillonnage limite son application dans le monde réel. Les modèles du monde, en tant que modèles génératifs d'environnements, offrent une solution prometteuse à ce problème. Ils peuvent servir d'environnements simulés pour entraîner des agents d'apprentissage par renforcement avec une efficacité d'échantillonnage accrue. Actuellement, la plupart des modèles du monde simulent la dynamique de l'environnement à l'aide de séquences de variables latentes discrètes. Cependant, cette méthode de compression en une représentation discrète compacte peut négliger des détails visuels cruciaux pour l'apprentissage par renforcement. Parallèlement, les modèles de diffusion sont devenus dominants dans le domaine de la génération d'images.

Les dernières recherches des laboratoires Tongyi d'Alibaba montrent que les modèles de diffusion Transformer texte-vers-image existants possèdent déjà la capacité de générer plusieurs images ayant une relation spécifique. Une simple « orientation » suffit pour qu'ils « maîtrisent » la génération de collections d'images de haute qualité. Les modèles de diffusion traditionnels ressemblent davantage à des étudiants qui « apprennent par cœur » et nécessitent un entraînement sur d'énormes quantités de données pour générer des images de haute qualité. Grâce à IC-LoRA, ils deviennent des « étudiants brillants » capables de « faire des liens », nécessitant ainsi moins de données.

Une nouvelle méthode révolutionnaire pour la génération d'images, appelée Flash Diffusion, a été présentée dans une récente étude. Elle accélère le processus de génération des modèles de diffusion pré-entraînés en entraînant un modèle prédictif qui génère en une seule étape le résultat de prédictions débruitées multi-étapes.